Đời sau nhớ ơn Mai Hắc Đế, lập đền thờ ông ở trên núi Vệ Sơn và trong thung lũng Hùng Sơn. Ngày nay tại địa phận xã Vân Diên, huyện Nam Đàn có khu di tích tưởng niệm ông. Một bài thơ chữ Hán còn ghi trong Tiên chân báo huấn tân kinh để ở đền thờ, ca tụng công đức ông như sau (bản dịch):

Hùng cứ châu Hoan đất một vùng,Vạn An thành lũy khói hương xông,Bốn phương Mai Đế lừng uy đức,Trăm trận Lý Đường phục võ công.Lam Thủy trăng in, tăm ngạc lặn,Hùng Sơn gió lặng, khói lang không.Đường đi cống vải từ đây dứt,Dân nước đời đời hưởng phúc chung.